Khâu sinh ra trong một gia đình nông dân nghèo ở Chiết Giang, nhưng sớm bộc lộ tài năng ngay từ khi còn trẻ và rất chăm học. Năm 1922, ông vào học tại Đại học Thượng Hải, chuyên ngành Xã hội học. Năm 1924, ông đến Quảng Đông và được nhận vào trường Võ bị Hoàng Phố mới thành lập, học ngành công binh. Ông tham gia một loạt các cuộc chiến tại địa phương của quân Quốc dân, đưa Chính phủ Quốc dân nắm quyền trên toàn Thung lũng sông Châu Giang. Năm 1926, Thống chế Tưởng Giới Thạch trở thành Tổng tư lệnh quân Bắc phạt, Khâu được thăng lên Đại úy, tham gia một số trận đánh đẫm máu nhất trong cuộc chiến. Khi Quốc-Cộng chấm dứt hợp tác, ông cùng các bộ hạ khác của Tưởng bị Chính phủ thân cộng ở Vũ Hán của Thủ tướng Uông Tinh Vệ bắt giữ, nhưng họ trốn được về Nam Kinh. Khâu sau đó được Tưởng thăng hàm Thiếu tá. Năm 1928, ông được thăng Trung tá Tiểu đoàn trưởng, tham gia Đại chiến Trung Nguyên bên phe Tưởng. Năm 1931, ông được thăng Đại tá Trung đoàn trưởng thuộc Sư đoàn 10, và năm 1933 được thăng Thiếu tướng. Năm 1934, ông được gửi sang Đức học về chiến thuật tăng thiết giáp với Heinz Guderian tại Học viện Lục quân Phổ. Khi trở về Trung Hoa, ông trở thành một sáng lập viên của lực lượng thiết giáp Quốc dân đảng, và được bổ nhiệm làm Tham mưu trưởng Sư đoàn chỉnh biên, một trong những đơn vị tinh nhuệ nhất của Tưởng.